Lee adalah seorang olahragawan yang berminat dan pemain golf yang gemar. Beliau dilantik sebagai presiden Kelab Golf Senior serta Persatuan Golf Malaya pada tahun 1957. Antara 1957 dan 1959, beliau mengetuai Majlis Sukan Olimpik Persekutuan Tanah Melayu. Di samping itu, beliau mengamalkan taijiquan atas sebab-sebab kesihatan.[7]

Lee adalah presiden pertama Oxford dan Cambridge Society of Malaysia.[12]

Beliau juga mengasaskan China Press pada tahun 1946 untuk menentang pengaruh komunis Min Sheng Pao, satu-satunya akhbar tempatan China pada masa itu.[3][6]